Decoupled Mixture-of-Experts for Parametric Knowledge Injection
解耦混合专家架构用于参数化知识注入
🧭 LLM 知识注入 · 解耦 MoE · 参数化专家 ★ 深度解读
Tsinghua University
提出解耦混合专家 (DMoE)，把外部知识模块化为独立 LoRA 专家，通过不确定性路由选择性激活并保持 KV-cache 复用，实现高效可更新的知识注入。
📌 工作参考价值（4 点）
- 电商知识热更新：商品属性、活动规则频繁变化，可借鉴 DMoE 的解耦专家模块独立更新，无需重训基座模型，新增知识只需训练对应 LoRA 并加入索引，避免灾难性遗忘。
- Agent 技能/知识模块化：可将不同领域的工具调用知识、业务规则训练为独立专家，通过 BM25 路由按需激活，结合不确定性触发实现 agent 的动态知识组合与按需注入，保持缓存复用降低推理延迟。
- 推荐系统知识增强：用户画像、物品属性知识可封装为独立适配器，注入最后层 FFN，不干扰基础推荐能力；能够离线存储大量专家，仅加载 top-k 激活，大幅降低 GPU 内存占用，适合大规模在线服务场景。
- 低开销的缓存友好设计：专家只挂在最后一层前馈网络，避免破坏 KV-cache，使动态知识注入的推理代价远低于 FLARE 等上下文改写方法，可直接应用于对实时性要求高的电商对话或推荐解释生成。